Adresser la crise de réplicabilité : La science ouverte et au-delà

Mise des données, matériels, code en ligne

The obvious antidote [to the lack of replication] is openly shared data, materials, and code used to analyze the data. Some journals have begun to require this type of sharing as a condition of publication. More commonly, journals have offered a simple acknowledgment of open data, materials, and code using the badge system described earlier.¹

Nosek and Lakens (2014) likewise proposed a major change to peer review in their call for journals to adopt registered reports.¹

« Tag » confirmatoire vs. exploratoire

Études non-préenregistrées : confirmatoire ou exploratoire? Ambigu! Et préenregistrement optionnel!

This, they argue, would remove the possibility of misrepresenting their research through omission and put them in a position to have to actively deceive in order to misrepresent, a threshold they argue fewer researchers would be willing to cross.¹

L’importance de changements structurels

• Valoriser les bonnes pratiques et la science ouverte!
  • au-delà de e.g., nombre de publications, facteur d’impact, prestige des revues
  • par exemple lors du processus d’embauche des nouveaux profs
• Incorporer ces pratiques et ce discours formellement dans nos politiques universitaires
  • Merci Liesette!

Confusion entre formation et production

• Techniquement, les chercheurs (profs) sont les producteurs de la science
• Les étudiants (doctorants) sont là pour apprendre comment produire de la bonne science
• Mais la dynamique actuelle a changé et encourage maintenant plus les étudiants à produire eux-mêmes la science—et rapidement
• C’est en effet ce qui détermine les chances d’acceptation
• Publiez ou périssez! (publish or perish)

Pas de contrôle de qualité

That Stapel managed to go so long undiscovered in his fraud again raised alarms about the possibility that the supposed quality control mechanisms in psychological science were somehow failing.¹

• Pas ou peu de contrôle de qualité, car cela ralentirait le processus de publication, de production!
• Qui supervise le superviseur?

Pas assez de temps (trop de lectures)

De longues sections méthodologiques et de résultats qui sont souvent peu pertinentes au point qui est en train d’être fait… Il existe un concept dans les compagnies où les individus sont payés à l’heure et quand il n’y a rien à faire, soit ils sont payés à rien faire, ou mieux, ils sont payé à faire des choses complètement inutiles et farfelues, juste pour dire qu’ils ne peuvent pas être sur leur téléphone, car ils sont payés, donc ils doivent travailler, même si c’est pas productif! Et donc je me demande si il n’y a pas un parallèle à faire ici, dans le sens qu’on se dit, mon dieu, ces gens là font un doctorat, faut faire quelque chose pour les garder occupés, sinon ça sera pas sérieux! Et notre solution? Plus de lectures!! Faut les garder occupés, même si ça la valeur ajoutée est faible! On focus sur les mauvaises affaires. Moins de temps sur les lectures, et plus de temps sur des projets intégrateurs appliqués! Les travaux, les présentations orales, les discussions, sont utiles dans ce sens là, donc ça fait du bien et ça fait changement du bac, mais d’après-moi on devrait aussi voir des exemples de cas appliqués en classe, et passer plus de temps à réfléchir dans par exemple des exercices interactifs plutôt que seulement sur des lectures théoriques. Système archaïque

Formation plus appliquée

• ~ 700 articles scientifiques pour maitrise + doc combinés
  • ~ 2000 incluant bac (~ 6000 heures)
• Pas vraiment aidé à devenir un meilleur chercheur…
  • Dû aller chercher ces connaissances dans mon temps libre (normal??)
• Tradition ou bénéfice réel?
  • Bonne priorité? Quel est l’objectif?
  • “Train them or don’t require them to produce!”

Le problème des « preprints »

• Pas révisé par les pairs

• Pas de contrôle de qualité

• Donc besoin d’un système de preprints, mais avec peer-review

Problèmes associées avec la révision par les pairs

• Outre les problèmes connus la révision par les pairs
• Problème que la révision par les pairs n’est pas valorisée
  • (mais voir Publons/Web of Science)
• Donc certains chercheurs ont comme politique de ne pas réviser les articles des autres, même si techniquement, ils le devraient…
• Mais comme les chercheurs sont débordés, selon certains professeurs, on accepte de réviser des articles que lorsque des « amis » ou « collaborateurs » nous le demande…
• Donc problème avec le système automatisé : ce n’est pas un ami ou une connaissance qui nous le demande! Donc est-ce que les gens seront susceptibles d’accepter??

Système de révision par les pairs automatisé

• Avantage principal : Gain de temps (libération de ressources)
  • Requêtes auprès des réviseurs automatique
    • (mais supervisée par un éditeur humain)
  • Manuscrit formatté automatiquement par la plateforme
    • (mais peut être modifié par les auteurs eux-mêmes)
  • Pas de frais pour publier
  • Frais pour la plateforme assumée par un collectif formé de gouvernements et d’organismes scientifiques ou à but non-lucratif.

Le problème du format « Journal »

• L’État finance la plupart des recherches
• L’État paie les salaires de la plupart de ceux qui vérifient la qualité de la recherche
• Puis, l’État achète la majeure partie du produit publié
• Système efficace?
• L’idée des journaux, du Facteur d’Impact, du prestige : malsain

Des profits monstrueux

• Ils achètent la compétition pour développer un monopole
• 15% des publications en 1970 vs 53% aujourd’hui
• Marge de profit : 35% (> Apple, Google, Amazon)
• Elsevier : profits ~ 3.3 billions (Netflix ~ 7.7 billions)
• Couts estimés = 3.3 x 2.9 = 9.4 billions
• Mais aucune contribution scientifique…
• Une fraude déguisée?

Un système de publication unifié 1/2

• Financé par le gouvernement ou des fondations
• Une seule place pour tous les articles
• Organisé par thème et sous-thèmes
• Avec plusieurs tags
• Genre de plateforme de preprints, mais peer-reviewed
• Plusieurs exemples de journaux accès libres sans frais de publications (e.g., JOSS)
• Pas de limites d’articles, effet tiroir réduit

Un système de publication unifié 2/2

• On se débarasse du système de Facteur d’Impact
• Ou bien une notation alternative qui dépend de l’article, pas du journal
• Basé sur un mixe de :
  • évaluations des pairs
  • nombre de citations
  • « points » votés par les membres du système

Analyse cout-bénéfices

• Éditeurs : toujours gratuit (ou pourrait avoir une certaine compensation)
• Réviseurs : toujours gratuit (ou pourrait avoir une certaine compensation)
• Couts pour développer/acheter la plateforme : ~500k
• Serveurs pour héberger la plateforme : 10k/année
• Autre frais administratifs : 10k/année
• Total = 500k au départ, puis 20k/année

Épargne de = 9999999999 millions

Et s’il n’y avait plus d’électricité!????

• Plus gros problèmes (se nourrir, se transporter, se chauffer)
• Peut quand même imprimer sur du papier régulier
• Pour des besoins particuliers, ou pour des archives de l’humanité
• Couts d’impression très faibles, insignifiants

En résumé

• Mauvaises pratiques
• Problèmes d’intégrité
• Confusion entre formation et production
• Pas de contrôle de qualité
• Pas assez de temps pour « bien faire les choses »
• Un système de révision par les pairs inefficace
• Un système de publication des articles scandaleux
• Etc., etc.

Apprentissage de R

Permet d’adresser :

• Transparence & réplicabilité
• Le problème de l’expertise éclatée (pédagogie, tutoriels)
• Formation et production combinées facilitée

N’adresse pas :

• La fraude
• La réflexion à priori (mais pré-enregistrement aide)

Cours de sciences des données (avec R)

Questions de discussion

1. Dénoncer les mauvaises pratiques dans notre millieu?
2. La valorisation institutionnelle de la science ouverte?
3. Remplacer le cours de stats par un cours de sciences des données (avec R)?
4. La pertinence d’une base de données ouverte d’articles classés par thème plutôt que le format de type « journal »?
5. L’automatisation du processus de révision par les pairs
6. Tag confirmatoire vs. exploratoire pour les articles?
7. Authorship et financement pour toutes et tous?

Remerciements

Diapos créées via R et Quarto.

Le critère d’authorship

Toute contribution significative devrait être reconnue de manière significative, i.e,. comme auteurs